0장. 한눈에 보기

출처: 『AI 엔지니어링 선수지식』(youtubedu 자체 제작 학습노트) | 입문판 재구성 — 노트가 1차 소스(PDF 원본 없음)

코드는 분위기만 — numpy·torch·import 같은 말은 몰라도 됩니다. 표의 '비유'와 '위험'만 봐도 충분해요.

이 책 큰 그림 4가지만

1. AI 가 다루는 모든 것은 결국 숫자 묶음이다. "강아지" 같은 단어도 컴퓨터 안에서는 숫자 줄로 바뀐다.
2. AI 가 "배운다"는 건 틀린 답을 조금씩 고쳐 정답에 가까워지는 일이다. 그 "어느 방향으로 고칠지"를 계산하는 게 이 책의 절반이다.
3. AI 의 답은 항상 확률이다. "다음 단어는 80% 확률로 이거" 처럼 찍어 놓고 하나를 고른다.
4. 그래서 선수지식은 딱 세 갈래다. 숫자 다루기(선형대수), 고칠 방향 찾기(미적분), 확률로 찍기(확률·통계). 이 셋만 손에 잡으면 본문이 술술 읽힌다.

이 0장은 본문에 나오는 어려운 말을 미리 풀어 둔 곳이다.

뒤 장에서 막히면 여기로 돌아오면 된다.

용어집(0절)과 개념 척추가 전부다. 천천히 읽으면 된다.

0. 먼저 알아둘 말 (용어집)

이 절은 이 책 전체 용어의 단일 출처다.

본문 어디서 어려운 말이 나와도, 그 뜻은 전부 여기 적혀 있다.

각 용어는 [한 문장 뜻 + 일상비유 + 한 줄 예] 3종으로 적었다.

벡터(vector)

한 문장 뜻 — 여러 숫자를 순서대로 묶은 묶음. 방향과 크기를 함께 담는다.

일상비유 — "북동쪽으로 5km"라는 말. 방향(북동)과 거리(5km)가 한 묶음으로 들어 있다.

한 줄 예 —

# 키·몸무게·시력을 한 묶음으로 = 친구 한 명을 나타내는 벡터
friend = [172, 65, 1.2]

행렬(matrix)

한 문장 뜻 — 벡터를 여러 줄 쌓아 만든 숫자 표(행 × 열 격자).

일상비유 — 엑셀 시트. 한 줄(행)이 한 사람의 점수 묶음이고, 그게 여러 줄 쌓이면 표다.

한 줄 예 —

# 학생 2명 × 과목 3개 = 2행 3열 표
scores = [[90, 85, 100], [70, 95, 80]]

차원(dimension)

한 문장 뜻 — 한 벡터 안에 들어 있는 숫자의 개수.

일상비유 — 친구 카드에 적은 항목 수. 키·몸무게·시력 3개면 3차원, 항목이 768개면 768차원이다.

한 줄 예 —

# 숫자가 3개 = 3차원 벡터 (컴퓨터는 수천 차원도 똑같이 다룸)
v = [3, 4, 5]   # 차원 = 3

임베딩(embedding)

한 문장 뜻 — 단어나 문장을 그 의미를 담은 숫자 벡터로 바꾼 것.

일상비유 — 단어마다 붙인 "의미 좌표". 뜻이 비슷한 단어는 좌표가 가까이 모인다.

한 줄 예 —

# "강아지"를 의미를 담은 긴 숫자 줄로 바꾼 결과(예시)
dog = [0.21, -0.07, 0.88, ...]   # 보통 수백~수천 칸

내적(dot product)

한 문장 뜻 — 두 벡터를 같은 자리끼리 곱해 모두 더한 하나의 숫자. 방향이 얼마나 같은지를 나타낸다.

일상비유 — 취향 궁합 점수. 둘 다 액션·코미디가 높으면 곱한 값이 커진다 = 궁합이 좋다.

한 줄 예 —

# (5×4) + (1×2) + (4×5) = 42
score = sum(a*b for a, b in zip([5,1,4], [4,2,5]))

코사인 유사도(cosine similarity)

한 문장 뜻 — 두 벡터의 각도만으로 비슷함을 재는 값(-1 ~ 1). 크기는 무시하고 방향만 본다.

일상비유 — 두 사람이 보는 방향. 같은 곳을 보면 1, 직각이면 0, 정반대면 -1이다.

한 줄 예 —

# 길이를 1로 맞춘 뒤 내적 → 방향만 순수 비교
sim = (a @ b) / (norm(a) * norm(b))   # 0.949 같은 값

미분(derivative)

한 문장 뜻 — 어떤 값이 그 순간 얼마나 빨리 변하는가. 즉 기울기다.

일상비유 — 자동차 속도계 바늘. 지금 이 순간 얼마나 빨리 가는지를 가리킨다.

한 줄 예 —

# y = x² 의 미분은 2x. x=3 이면 기울기 6
slope = 2 * 3   # 6

그래디언트(gradient)

한 문장 뜻 — 변수가 여러 개일 때 각각의 미분을 한데 모은 화살표. 가장 가파른 오르막 방향을 가리킨다.

일상비유 — 등산 지도의 화살표. 가장 가파르게 올라가는 쪽을 짚어 준다. 반대로 가면 골짜기(정답)로 가장 빨리 내려간다.

한 줄 예 —

# z = x² + y² 의 그래디언트는 [2x, 2y]. (x=1, y=2)면 [2, 4]
grad = [2*1, 2*2]   # [2, 4]

경사하강법(gradient descent)

한 문장 뜻 — 그래디언트 반대 방향으로 조금씩 내려가 가장 낮은 골짜기(최소 오차)를 찾는 방법.

일상비유 — 안개 속 하산. 앞은 안 보여도 발 밑 경사만 느끼며 가장 가파른 내리막으로 한 걸음씩 내려간다.

한 줄 예 —

# 새 위치 = 지금 위치 − 학습률 × 기울기
x = 3.0 - 0.1 * (2*3.0)   # 2.4 (골짜기 쪽으로 한 걸음)

학습률(learning rate)

한 문장 뜻 — 경사하강에서 한 걸음을 얼마나 크게 내디딜지 정하는 값.

일상비유 — 하산할 때 보폭. 너무 크면 골짜기를 건너뛰고, 너무 작으면 영원히 못 내려간다.

한 줄 예 —

lr = 0.1   # 보폭. 이 값을 맞추는 게 AI 엔지니어의 일상

손실(loss)

한 문장 뜻 — 모델의 답이 정답에서 얼마나 틀렸는지를 하나의 숫자로 나타낸 값.

일상비유 — 시험 감점. 틀릴수록 점수가 깎인다. 이 깎인 점수를 줄이는 게 학습이다.

한 줄 예 —

# 틀린 정도를 숫자로. 작을수록 잘 맞춤
loss = -log(0.9)   # 0.1 (잘 맞힘 → 작은 손실)

확률분포(probability distribution)

한 문장 뜻 — 어떤 일이 각각 얼마나 자주 일어나는가의 지도. 모든 확률을 더하면 항상 1이다.

일상비유 — 일기예보. "비 70%, 맑음 30%" 처럼 각 경우의 확률을 다 펼쳐 놓은 것이고, 합은 100%다.

한 줄 예 —

# 세 경우의 확률 — 합이 항상 1
probs = [0.25, 0.5, 0.25]   # 합 = 1.0

조건부확률(conditional probability)

한 문장 뜻 — "B가 일어났다는 걸 알 때 A가 일어날 확률".

일상비유 — 의사의 진단. 기침(B)을 보고 나서 감기일 확률(A)을 다시 잡는 것.

한 줄 예 —

# "앞 단어들을 봤을 때 다음 단어 확률" = 언어모델의 정의 그 자체
p_next = P("간다" | "나는 학교에")

엔트로피(entropy)

한 문장 뜻 — 결과가 얼마나 불확실한가(헷갈리는 정도)의 크기.

일상비유 — 동전과 가짜 동전. 앞뒤 5:5 동전은 최대로 헷갈리고(엔트로피 큼), "항상 앞면" 동전은 전혀 안 헷갈린다(엔트로피 0).

한 줄 예 —

# 5:5 → 헷갈림 최대 / 항상 앞면 → 헷갈림 0
entropy(fair_coin) > entropy(always_heads)

크로스 엔트로피(cross-entropy)

한 문장 뜻 — 모델의 예측이 정답과 얼마나 다른지에 매기는 벌점.

일상비유 — 오답 벌점. 정답을 낮은 확률로 찍을수록 벌점이 크고, 높은 확률로 찍으면 벌점이 작다.

한 줄 예 —

# 벌점 = −log(정답에 준 확률)
penalty = -log(0.1)   # 2.30 (정답을 10%만 줘서 큰 벌점)

파라미터/가중치(parameter / weight)

한 문장 뜻 — 모델이 학습하면서 조금씩 고쳐 가는 내부 숫자들. 행렬 칸 하나하나가 가중치다.

일상비유 — 라디오 다이얼 수천 개. 학습은 이 다이얼들을 조금씩 돌려 소리(답)를 맞춰 가는 일이다.

한 줄 예 —

# "수천억 파라미터" = 고쳐야 할 다이얼이 수천억 개라는 뜻
weight = weight - lr * grad   # 학습 1 step 마다 살짝 조정

개념 척추

여기 6개는 이 책 전체를 관통하는 큰 줄기다.

각각 ①막히는 장면 ②일상비유 ③비유·코드·위험 표 ④한 문장 정의 순서다.

척추 1 — 모든 것은 숫자 묶음이다

막히는 장면

컴퓨터에게 "강아지"라고 입력했더니 받아먹질 못한다.

당연하다. 컴퓨터는 글자를 모른다. 숫자만 안다.

그래서 단어를 먼저 숫자 줄(벡터)로 바꿔 줘야 한다. 그게 첫 관문이다.

일상비유

친구를 소개할 때 [키 172, 몸무게 65, 시력 1.2] 처럼 항목별 숫자로 적는다고 해 보자.

이 숫자 카드 한 장이 곧 그 친구를 나타내는 벡터다. 컴퓨터는 단어도 이렇게 카드로 만든다.

한 문장 정의 — AI 가 다루는 단어·문장·이미지는 전부 숫자 묶음(벡터·행렬)으로 바뀌며, 이 변환이 모든 계산의 출발점이다.

척추 2 — 비슷함은 방향으로 잰다

막히는 장면

"이 질문과 가장 비슷한 문서를 찾아 줘" — 그런데 글자를 하나하나 비교하면 너무 느리고, 뜻이 같아도 단어가 다르면 못 찾는다.

벡터로 바꿔 두면 다르다. 두 벡터가 같은 방향이면 "뜻이 비슷하다"고 본다.

방향이 얼마나 같은지를 숫자 하나로 재는 게 핵심이다.

일상비유

두 사람이 같은 곳을 보고 있으면 취향이 맞는다고 느낀다.

정반대를 보면 안 맞는다. 같은 방향일수록 점수를 높게 주면 그게 코사인 유사도다.

한 문장 정의 — 두 의미가 비슷한지는 두 벡터의 방향(각도)으로 재며, 그 척도가 코사인 유사도다.

척추 3 — 표 곱하기로 변환한다

막히는 장면

"한국어 의미 벡터를 영어 의미 벡터로 바꿔라" 같은 변환을, 숫자 하나하나 손으로 옮기면 끝이 없다.

그런데 변환 전체를 행렬 하나로 적어 두고, 입력에 그 행렬을 곱하면 한 방에 바뀐다.

신경망의 모든 층이 이 "표 곱하기"다.

일상비유

행렬 곱은 입력을 넣으면 모양이 바뀌어 나오는 변환 기계다.

기계(행렬)는 고정해 두고, 재료(입력 벡터)를 넣을 때마다 같은 변환이 적용된다.

한 문장 정의 — 신경망의 한 층은 "입력 × 가중치 행렬"이다. AI 계산의 대부분이 이 행렬 곱이라서 GPU 가 필수다.

척추 4 — 틀린 만큼 고칠 방향을 찾는다

막히는 장면

모델이 틀린 답을 냈다. 그런데 "어느 다이얼을 어느 쪽으로 돌려야 덜 틀릴까?"

수천억 개 다이얼을 일일이 돌려 보며 시험할 수는 없다.

여기서 미분이 등판한다. "이 다이얼을 살짝 올리면 손실이 늘까 줄까"를 계산으로 알려 준다.

일상비유

언덕에서 골짜기로 내려가고 싶다. 발 밑 경사(미분)를 느끼면 어느 쪽이 내리막인지 안다.

변수가 여럿이면 가장 가파른 방향을 화살표(그래디언트)로 모아 가리킨다.

한 문장 정의 — 학습은 틀린 정도(손실)를 미분해 "어느 방향으로 가중치를 고치면 덜 틀리는가"를 찾는 일이며, 그 방향 묶음이 그래디언트다.

척추 5 — 한 걸음씩 골짜기로 내려간다

막히는 장면

고칠 방향은 알았다. 그런데 한 번에 정답으로 점프할 수는 없다.

너무 크게 움직이면 골짜기를 건너뛰어 더 엉망이 되고, 너무 작게 움직이면 평생 못 도착한다.

그래서 적당한 보폭으로 한 걸음씩, 수없이 반복해 내려간다.

일상비유

안개 낀 산에서 하산하는 사람. 멀리는 안 보여도 발 밑 경사만 믿고 내리막으로 한 걸음.

다시 경사를 재고 또 한 걸음. 이걸 반복하면 결국 골짜기에 닿는다. 보폭이 학습률이다.

한 문장 정의 — 경사하강법은 그래디언트 반대 방향으로 학습률만큼 한 걸음씩 반복해 손실의 골짜기로 내려가는 실제 학습 알고리즘이다.

척추 6 — AI 는 확률로 다음을 찍는다

막히는 장면

"나는 학교에 ___" 다음에 뭐가 올까?

모델은 정답 하나를 딱 아는 게 아니다. "간다 80%, 갔다 15%, 피자 0.01%" 처럼 후보마다 확률을 매겨 놓는다.

그중 하나를 골라 내놓는다. 그래서 같은 질문에도 답이 조금씩 달라진다.

일상비유

일기예보가 "비 70%, 맑음 30%"라고 말하는 것과 같다.

가능한 경우마다 확률을 펼쳐 놓고(분포), 그 합은 항상 100%다. AI 는 이 분포에서 하나를 뽑는다.

한 문장 정의 — AI 는 다음에 올 후보들의 확률분포를 내놓고 하나를 고르는 확률 기계다. 정답에 얼마나 낮은 확률을 줬는지(크로스 엔트로피)가 곧 학습의 벌점이다.

한 걸음 더 ▸ (지금 몰라도 됨)

지금은 세 갈래만 기억하면 충분하다. 숫자로 바꾸고(선형대수), 고칠 방향을 찾고(미적분), 확률로 찍는다(확률·통계).

어텐션·트랜스포머·RAG 같은 멋진 말들은 전부 이 세 갈래의 조합일 뿐이다. 지금은 몰라도 된다.

지금은 "숫자·방향·확률" 세 단어만 들고 가면 된다.

사이드박스 — 한 조각 직관 (흥미용)

거대 언어모델은 결국 글자를 벡터로 바꾼다(임베딩). 그걸 행렬 곱으로 섞고, 내적으로 서로 주목하게 만든다. 마지막에 확률로 다음 글자를 찍는 거대한 계산기다.

어려워 보이는 이름들도 속을 열면 다 "곱하고 더하기"다. 외워 둘 필요는 없다.

다음 장 예고

다음 1장에서는 첫 갈래인 선형대수를 본다. 단어가 어떻게 숫자 묶음(벡터)이 되고, 그 묶음들이 어떻게 표(행렬)로 쌓여 계산되는지 천천히 다룬다.

지금 0장 용어와 척추만 머리에 있으면 충분하다. 나머지는 1장에서 풀린다.